Activation Function

定义 Definition

（机器学习/神经网络）激活函数：将神经元的加权输入（如 (z=w\cdot x+b)）映射为输出的函数，用于引入非线性、控制输出范围，并影响模型的可训练性与表达能力。常见的有 Sigmoid、Tanh、ReLU 等。（在更广义的数学语境中，也可指“使某种机制/过程开始起作用的函数”，但最常用的是神经网络含义。）

发音 Pronunciation (IPA)

/ˌæk.tɪˈveɪ.ʃən ˈfʌŋk.ʃən/

例句 Examples

The ReLU activation function is popular in deep learning.
ReLU 激活函数在深度学习中很常见。

Choosing an activation function affects gradient flow, training stability, and how well a neural network can model complex patterns.
选择哪种激活函数会影响梯度传播、训练稳定性，以及神经网络对复杂模式的建模能力。

词源 Etymology

activation 来自 activate（使……激活/起作用），源于拉丁语词根 act-（做、行动）；function 来自拉丁语 functio（执行、履行），引申为“功能/函数”。合起来在神经网络领域指“让神经元输出‘起作用’的函数”。

相关词 Related Words

• ReLU
• Sigmoid
• Tanh
• Softmax
• Neuron
• Gradient
• Backpropagation
• Nonlinearity

文学与著作 Literary Works

• Deep Learning（Ian Goodfellow, Yoshua Bengio, Aaron Courville）——系统讲解多种激活函数及其训练影响。
• Neural Networks and Learning Machines（Simon Haykin）——介绍激活函数在经典神经网络中的作用。
• Pattern Recognition and Machine Learning（Christopher M. Bishop）——在神经网络章节中讨论非线性与相关函数选择。
• Neural Networks for Pattern Recognition（Christopher M. Bishop）——涵盖激活函数与网络表达能力的关系。